想象一下，与其费力地雕刻大脑，不如直接给它一份剧本。在以往的自然语言处理时代， 领域适应 是一个艰苦的过程，涉及 迁移学习 或 PEFT（参数高效微调）我们将模型视为黏土，需要成千上万的标注样本才能物理性地修改其内部权重——这一过程计算开销巨大，最终生成了如BERT这类静态且高度专业化的模型版本。

GPT-3的催化剂

GPT-3的发布标志着 GPT-3 一个 顶尖水平（SOTA） 里程碑。它证明了 上下文学习——即模型直接从提示中识别模式——通常能与针对通用任务的特定微调性能相当，甚至超越。我们已转向 基于提示的推理，其中梯度更新的延迟和成本被战略性注入上下文所取代。